Cáp S-video mang video sử dụng hai tín hiệu đồng bộ và các cặp nối đất, được gọi là Y và C.

Y là tín hiệu luma (luminance), mang độ sáng - hoặc hình ảnh đen trắng - bao gồm xung đồng bộ hóa.

C là tín hiệu chroma, mang màu - hoặc màu sắc gốc của hình ảnh. Tín hiệu này chứa cả độ bão hòa và màu sắc của video.

Tín hiệu luma mang các xung đồng bộ ngang và dọc theo cùng một cách với tín hiệu chuẩn AV. Luma là ợpín hiệu mang độ chói sau khi hiệu chỉnh gamma, và do đó được gọi là "Y" vì sự tương tự với chữ cái Hy Lạp chữ cái thấp gamma.

Trong video tổng hợp, các tín hiệu cùng tồn tại trên các tần số khác nhau. Để đạt được điều này, tín hiệu độ sáng phải được lọc thấp, làm mờ hình ảnh. Vì S-Video duy trì hai tín hiệu riêng biệt nên không cần thiết phải lọc luồng thông qua độ luma có hại đối với độ sáng mặc dù tín hiệu chroma vẫn có giới hạn băng thông tương đối so với video thành phần.

So với video tổng hợp, mang tín hiệu luma giống nhau nhưng tách các tín hiệu khác nhau màu thành Cb / Pb và Cr / Pr, độ phân giải màu của S-Video bị hạn chế bởi điều chế trên tần số sóng mang từ 3,57 đến 4,43 megahertz, tùy thuộc vào tiêu chuẩn. Cần lưu ý rằng sự khác biệt này không có ý nghĩa gì đối với các hệ thống băng video gia đình, vì màu sắc đã bị hạn chế bởi cả công nghệ VHS và Betamax.

Mang thông tin màu sắc như một tín hiệu có nghĩa là màu sắc phải được mã hóa trong một cách nào đó, điển hình là phù hợp với chuẩn NTSC, PAL, hoặc SECAM, tùy thuộc vào tiêu chuẩn truyền hình địa phương áp dụng.

Ngoài ra, S-Video có độ phân giải màu thấp. Độ phân giải màu S-Video NTSC thường là 120 đường ngang (khoảng 160 điểm ảnh cạnh-cạnh), so với 250 đường ngang cho chuẩn Rec.601 - tín hiệu mã hoá của một đĩa DVD, hoặc 30 đường ngang cho các VCR tiêu chuẩn.